12. Pandas-数据框拼接

import pandas as pd  # 显式导入 Pandas，避免依赖未执行的平台代码块状态

# =============================================================================
# 题目：concat拼接不同月份的股价数据
# =============================================================================
# 在金融时间序列分析中,经常需要将不同时期的数据(如月度数据、季度数据)
# 拼接成更长时间序列以便进行趋势分析。本示例演示如何使用concat()将1月
# 和2月的股价数据垂直拼接成Q1(第一季度)完整数据。

# ==================== 创建1月数据 ====================
# 使用字典创建DataFrame,包含价格和成交量两列
jan_data = pd.DataFrame({
    'price': [10, 11, 12],                    # 股价数据,表示3个交易日的收盘价
    'volume': [1000, 1100, 1200]              # 成交量数据,单位可能是手或股
}, index=pd.date_range('2024-01-01', periods=3))  # 创建日期范围索引,从2024-01-01开始的3天

# ==================== 创建2月数据 ====================
# 创建2月的交易数据,结构相同
feb_data = pd.DataFrame({
    'price': [13, 14, 15],                    # 2月的股价数据,显示上升趋势
    'volume': [1300, 1400, 1500]              # 2月的成交量,呈现增长态势
}, index=pd.date_range('2024-02-01', periods=3))  # 2月日期索引

# ==================== 垂直拼接两月数据 ====================
# pd.concat()默认axis=0,将feb_data追加到jan_data下方
# 拼接后形成包含1月和2月数据的Q1时间序列
q1_data = pd.concat([jan_data, feb_data])  # 垂直拼接,自动对齐列名
assert q1_data.shape == (6, 2), '垂直拼接应得到6行2列'  # 核验拼接后的表结构
assert q1_data.columns.tolist() == ['price', 'volume'], '拼接不应改变列集合'  # 核验列名与顺序
assert q1_data.index.is_unique, '日期索引不应重复'  # 防止时间序列拼接后出现重复键
print("Q1数据:")  # 打印标题
print(q1_data)    # 输出完整的Q1数据,包含6个交易日

import pandas as pd

# =============================================================================
# 题目：merge函数基于索引合并价格与成交量数据
# =============================================================================
# 在金融分析中,经常需要将不同数据表的信息整合在一起,例如将股价数据与
# 成交量数据合并,以便进行量价分析。本示例演示如何使用pd.merge()函数
# 基于日期索引将中性示例的收盘价和成交量数据进行内连接合并。

# ==================== 构造中性机制演示示例数据 ====================
# 以下固定值只用于演示merge机制，不是任何公司的真实市场依据
dates = pd.to_datetime(['2022-05-30', '2022-05-31', '2022-06-01', '2022-06-02', '2022-06-03'])
df_price = pd.DataFrame(
    {'示例收盘价': [10.20, 10.40, 10.30, 10.60, 10.80]},
    index=dates
)
df_volume = pd.DataFrame(
    {'示例成交量': [1200, 1350, 1280, 1420, 1510]},
    index=dates
)

# 合并前诊断：重复索引会使多对多合并产生行数膨胀
duplicate_keys = int(df_price.index.duplicated().sum() + df_volume.index.duplicated().sum())
print(f'合并键重复数: {duplicate_keys}')

# ==================== 基于索引进行内连接合并 ====================
# pd.merge()实现类似SQL的JOIN操作:
# left:左表,取df_price中的'示例收盘价'列
# right:右表,取df_volume(成交量数据)
# left_index=True/right_index=True:使用左右两表的索引(日期)作为连接键
# how='inner':内连接,只保留两个表中索引都存在的日期
df_merge = pd.merge(
    left=df_price['示例收盘价'],  # 左表:中性价格演示序列
    right=df_volume,             # 右表:中性成交量演示序列
    left_index=True,             # 布尔值,指定使用左表的索引作为连接键
    right_index=True,            # 布尔值,指定使用右表的索引作为连接键
    how='inner'                  # 连接方式,'inner'表示只保留匹配的行
)

# ==================== 输出合并后的数据 ====================
print("合并后的数据:")  # 打印标题
print(df_merge.head())  # 显示前5行数据,包含收盘价和成交量
expected_columns = ['示例收盘价', '示例成交量']
assert duplicate_keys == 0, '请先处理重复合并键'
assert df_merge.shape == (5, 2), '预期得到5行2列'
assert df_merge.index.equals(pd.DatetimeIndex(dates)), '预期保留完整日期索引'
assert df_merge.columns.tolist() == expected_columns, '预期列名与输入字段一致'
print(f'检查: shape={df_merge.shape}, index=日期索引, columns={expected_columns}')

# ==================== 查询特定日期的交易数据 ====================
# 使用.loc通过日期索引定位特定行的数据
stock_data = df_merge.loc['2022-06-01', :]  # 获取2022-06-01这一行的所有列数据
print(f"\n2022-06-01的交易数据:")  # 打印日期标题
print(f"  机制演示收盘价: {stock_data['示例收盘价']:.2f}")
print(f"  机制演示成交量: {stock_data['示例成交量']}")

import pandas as pd

# =============================================================================
# 题目：join函数简化索引合并操作
# =============================================================================
# join()是merge()的便捷方法,专门用于基于索引合并数据框,语法更加简洁。
# 本示例演示如何使用join()方法将中性收盘价与成交量数据合并,
# 相比merge(),join()更适合处理基于索引的合并场景。

# ==================== 构造中性机制演示示例数据 ====================
# 固定值只用于演示join机制，不是真实公司行情
dates = pd.to_datetime(['2022-05-30', '2022-05-31', '2022-06-01', '2022-06-02', '2022-06-03'])
df_price = pd.DataFrame(
    {'示例收盘价': [10.20, 10.40, 10.30, 10.60, 10.80]},
    index=dates
)
df_volume = pd.DataFrame(
    {'示例成交量': [1200, 1350, 1280, 1420, 1510]},
    index=dates
)

# ==================== 使用join进行索引合并 ====================
# df_price[['示例收盘价']]:从价格数据框中提取中性示例列
# .join(df_volume):将成交量数据框基于索引合并到收盘价数据框
# how='inner':内连接,只保留两个表中索引都存在的日期
df_join = df_price[['示例收盘价']].join(  # 调用左表的join方法
    df_volume,                          # 要合并的右表(中性成交量数据)
    how='inner'                         # 连接方式,内连接保留匹配的索引
)

# ==================== 输出合并结果 ====================
print("使用join合并:")  # 打印提示信息
print(df_join.head())  # 显示前5行数据,包含收盘价和成交量
join_duplicate_keys = int(df_price.index.duplicated().sum() + df_volume.index.duplicated().sum())  # 统计两张表的重复连接键
assert join_duplicate_keys == 0, '请先处理重复连接键'  # 防止重复键造成行数膨胀
assert df_join.shape == (5, 2), 'join应得到5行2列'  # 核验内连接后的表结构
assert df_join.index.equals(pd.DatetimeIndex(dates)), 'join应保留完整日期交集'  # 核验连接键交集
assert df_join.columns.tolist() == ['示例收盘价', '示例成交量'], 'join列名与输入不一致'  # 核验输出列集合
assert df_join.equals(df_price[['示例收盘价']].merge(df_volume, left_index=True, right_index=True, how='inner')), 'join与merge结果应等价'  # 核验相同连接语义
print(f'检查: shape={df_join.shape}, columns={df_join.columns.tolist()}')

import pandas as pd

# =============================================================================
# 题目：concat拼接沪市和深市的股票数据
# =============================================================================
# 在A股市场中,股票分为上海证券交易所(沪市)和深圳证券交易所(深市)。
# 实际分析中常需要将两个市场的数据整合在一起进行跨市场比较分析。
# 本示例演示如何使用concat()的keys参数为拼接后的数据添加层次化索引,
# 标识每条数据来源于哪个市场。

# ==================== 创建沪市股票数据 ====================
# 构造仅用于拼接机制的沪市中性示例表，不代表真实市场依据
sh_data = pd.DataFrame({
    'sample_id': ['SH-SAMPLE-01', 'SH-SAMPLE-02'],  # 使用中性标识避免暗示具名公司报价
    'example_value': [10.5, 45.2]                    # 固定数值只用于演示拼接结构
})

# ==================== 创建深市股票数据 ====================
# 构造深市中性示例表，结构与沪市示例相同
sz_data = pd.DataFrame({
    'sample_id': ['SZ-SAMPLE-01', 'SZ-SAMPLE-02'],  # 使用中性标识表示深市来源
    'example_value': [12.3, 8.5]                     # 固定数值不用于任何市场判断
})

# ==================== 垂直拼接并添加市场标识 ====================
# pd.concat()的keys参数为拼接后的数据创建层次化索引
# keys=['沪市', '深市']:为两个数据框分别添加标签
# names=['市场']:指定层次化索引的级别名称
all_stocks = pd.concat([sh_data, sz_data], keys=['沪市', '深市'], names=['市场'])
assert all_stocks.shape == (4, 2), '跨市场拼接应得到4行2列'  # 核验拼接后的表结构
assert all_stocks.index.names == ['市场', None], '应保留市场层级索引'  # 核验keys生成的来源索引
assert all_stocks.columns.tolist() == ['sample_id', 'example_value'], '拼接后列集合不应改变'  # 核验两市表结构一致
assert all_stocks['sample_id'].is_unique, '中性标识不应重复'  # 防止跨市场样例键冲突
print("两市股票:")  # 打印标题
print(all_stocks)    # 输出包含市场标识的合并数据,可通过层次化索引区分市场